Parsing comparison across grammar formalisms using strongly equivalent grammars Comparison of LTAG and HPSG parsers: A case study

This article presents a novel approach to empirical comparison between parsers for different grammar formalisms such as LTAG and HPSG. The key idea of our approach is to use strongly equivalent grammars obtained by grammar conversion, which generate equivalent parse results for the same input. We validate our approach by giving a formal proof of strong equivalence for an existing grammar conversion from LTAG to HPSG-style grammar. Experimental results using two pairs of LTAG and HPSG parsers with dynamic programming and CFG filtering reveal that the different ways of using the parsing techniques cause significant performance differences, and also suggest a definite way of improving these parsing techniques. RÉSUMÉ. Nous présentons une approche nouvelle pour comparer de manière empirique des analyseurs syntaxiques pour des formalismes grammaticaux comme LTAG et HPSG. L’idée centrale consiste à utiliser des grammaires fortement équivalentes obtenues par conversion et produisant des analyses équivalentes pour la même chaîne d’entrée. Nous validons cette approche en fournissant une preuve formelle d’équivalence forte pour le mécanisme de conversion de grammaires de LTAG vers HPSG. Les résultats expérimentaux obtenus avec deux paires d’analyseurs syntaxiques LTAG et HPSG en utilisant la programmation dynamique et le filtrage CFG ont montré que les différences de performance résultent des différence d’adaptation des techniques d’analyse, suggérant une piste solide pour améliorer celles-ci.